и 
_ $50-решение ее А. 
_ на 5 млн пользователей. ^ ой 
_ Масштабирование от пилотн 
|Проркта до р опяряденог о уровня. 


’ Ирина Блакина 
в рик колай Зайцев 


ни | Ннгоаа` в. 


` 2022 


РЕ Тесв 


Ирина Блажина 


Корпоративный 
архитектор Х5 Тесп 


@АВа! 


РЕ Тесв 


Николай Зайцев 


Архитектор решений Х5 ТесК 


@«Но 


УНАС БОЛЬШАЯ 
И НАДЕЖНАЯ КОМАНДА Хар 


20+ человек 


Креативные 


разработчики 


Упорные 
ГеуОр$ 


Внимательные 
тестировщики 


РЕ Тесв 


8) Дотошные 
аналитики 


Красивые 


архитекторы 


РЕ Тесв 


Предыстория появления 
гостевого 550 в Х5 


РЕ Тесв 


>20 ТЫС. 


магазинов 


>15 млн 


покупателей 
каждый день 


У БОЛЬШОЙ 
КОМПАНИИ 
КЛИЕНТСКИХ 
СЕРВИСОВ 


ТОЖЕ МНОГО... 


Приложения Х5 Сгоир 


РЕ Тесв 


РЕ Тесв 


ЗАКОН КОНВЕЯ 


«Организации проектируют системы, 
которые копируют структуру 
коммуникаций в этой организации» 


ЗАКОН КОНВЕЯ НА ПРАКТИКЕ УБтесн 


ИСХОДНЫЕ ДАННЫЕ 


9] Крупная компания с большой 
клиентской аудиторией 


РЕ Тесв 


ИСХОДНЫЕ ДАННЫЕ 


Крупная компания с большой 
клиентской аудиторией 


Растущее число продуктовых 
сервисов 


РЕ Тесв 
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ИСХОДНЫЕ ДАННЫЕ 
9] Крупная компания с большой 
клиентской аудиторией 
] Растущее число продуктовых 
сервисов 


Я Большие расходы на отправке 
зт$ для подтверждения входа 


РЕ Тесв 


ИСХОДНЫЕ ДАННЫЕ 


Крупная компания с большой 
клиентской аудиторией 


ы 


Растущее число продуктовых 
сервисов 


2 Большие расходы на отправке 
зт$ для подтверждения входа 


Недовольные забывающие логины 
и пароли пользователи 


РЕ Тесв 
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СТАРТ ПРОЕКТА 


РЕ Тесв 


ЧТО ПРЕДСТОИТ СДЕЛАТЬ 


Реализовать 
единый вход ($$0) 


для комфорта 
потребителей 


Сократить расходы 
в будущем 


на локальных 
доработках и $$ 


РЕ Тесв 


Сделать быстро 


за 2 месяца на пилот 
на приложениях 
с небольшой аудиторией 


Повысить 
безопасность 
Обеспечить безопасный 


и надежный сервис 
для клиента 


= 


ОСОБЕННОСТИ ИНФРАСТРУКТУРЫ 


Интернет 


Ресурс (АР|, веб-страница): 5Ка.ги ‚ регекгеокК.ги ... 


РЕ Тесв 
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ОСОБЕННОСТИ ИНФРЫ 


Интернет 


Ресурс (АР|, веб-страница): 5Ка.ги , регекгеокК.ги ... 


РЕ Тесв 


Форма 
входа М 


ОСОБЕННОСТИ ИНФРЫ 


Интернет 


ны 


Ресурс (АР|, веб-страница): 5Ка.ги ‚ регекгеоК.ги ... 


РЕ Тесв 


Форма 
входа М 
этенищаннь 


ПОИСК РЕШЕНИЯ 


РЕ Тесв 


ПОЧЕМУ БЫ НЕ НАПИСАТЬ УБтесн 
СВОИ $50 - СЕРВЕР? 


Небыстро 


$$0, СОК$, ОШС, ОАЩИ, МТ 


—-7| Сложно развивать 
И Нужно обеспечить поддержку разных языков и технологий 


Потеря знаний 


Если не по стандартам/уход разработчика - потеря знаний и времени 


Что с безопасностью? 


20 


ВАРИАНТ РЕАЛИЗАЦИИ ОАШИ2 УБтесн 
ИЗ ПРАКТИКИ 


Узег АррИсайоп Кеусюак | | Вез{АР! 


1. Ведце${ 


> 
! 3. Ввод логина, 


‚ И пароля 
‚ ипа Роя > 


3. Логин, пароль 


4. Ацпопганоп соде 


4. Ацпопганоп соде 


5. Ассез$ ТоКеп, 
Ве*е5 ТоКеп 


ВАРИАНТ РЕАЛИЗАЦИИ ОАШИ2 
ИЗ ПРАКТИКИ 


Узег АррИсаНоп Кеусюак | ВезЕАР! | 


1. Ведце${ 


| 3. Ввод логина, 


' и пароля 
‚ипароля > 


3. Логин, пароль 


4. АшпопгаНоп соде 


4. АшпопгаНоп соде 


5. Ассе55 ТокКеп, 
Ве#тезр ТоКеп 


7. Запрос АР! 
без!!! 
Ассе55 ТоКеп 


| 8. ОК [ 


АррИсаНоп | Кеусюак | Ве5{ГАР! | 


РЕ Тесв 


Ученые Боннского университета 5 теск 
провели исследование 


®] Оценили навыки 


создания систем безопасного хранения 
паролей у 43 программистов-фрилансеров 


ЕТ Большинство не задумывается 
о защите ключей 


Если заранее не указать 
на необходимость защиты 


Лишь 27% программистов 


Использовали надежные алгоритмы шифрования, остальные 
отдали предпочтение слабым механизмам кодирования 


йе 


ВЫБОР ХЗЮ $50 УБтесн 


Готовое Управление 


Управление Адаптеры 
пользователями для популярных 
и ролями Языков 
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АРХИТЕКТУРА ПИЛОТА ХО 


Интернет 


0.Х5.ВУ 
(Гогт-епа) 


хыр $30 ©) ЕУСЬОАК 


РЕ Тесв 


$сап& Со. ® тк 
(гогт-епа) ^ 


Форма 


Зсап&Со 
(баск-епа 


Учетные 
данные 


= 


АРХИТЕКТУРА ПИЛОТА ХО УБтесн 


Интернет 


Юх5ви | .] зсапёбо 
(топе-епа) „ „| (топеепа) 


Зсап&Со 
(раск-епа) 


СХЕМА МАСШТАБИРОВАНИЯ-—К ЧЕМУ ИДЕМ —\Хх5тес, 


Интернет 


Ресурс 1..М 
(Гогт-епа) 


Ресурс 1..М 
—-| (раскК-епа) к 


РЕЗУЛЬТАТЫ ПЛАНИРОВАНИЯ УБтесн 


#] Выбранное решение 


Должно удовлетворить все наши запросы 


Архитектура пилота 
На небольшую аудиторию в 300 ООО пользователей 


План масштабирования 


На 5 млн активных пользователей 
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РЕ Тесв 


ПОДВОДНЫЕ КАМНИ 


ПРОБЛЕМА РОСТА ВРЕМЕНИ ПРОСТОЯ УБтесн 
ПРИ ОБНОВЛЕНИИ 


50 


Время простоя, мин. 
№ 
о 


50 100 150 200 250 300 


Количество пользователей, тыс. 


Больше пользователей -+ дольше обновление и восстановление после аварии. 
Приемлемым считаем время простоя системы не более трех минут. 


ЗО 


ПРОБЛЕМА РОСТА ВРЕМЕНИ ПРОСТОЯ УБтесн 
ПРИ ОБНОВЛЕНИИ 


50 


Время простоя, мин. 
№ 
(>) 


Количество пользователей, тыс. 


Больше пользователей -+ дольше обновление и восстановление после аварии. 
Приемлемым считаем время простоя системы не более 3-х минут. 


— 


ПРОБЛЕМА РОСТА ВРЕМЕНИ ПРОСТОЯ УБтесн 
ПРИ ОБНОВЛЕНИИ 


50 


Время простоя, мин. 
№ 
(>) 


Количество пользователей, тыс. 
Больше пользователей -+ дольше обновление и восстановление после аварии. 
Приемлемым считаем время простоя системы не более 3-х минут. 
а 


ПРОБЛЕМА РОСТА ВРЕМЕНИ ПРОСТОЯ Убтесн 
ПРИ ОБНОВЛЕНИИ 


50 С 


Е 40 

> 

< 30 

5 

82 020 

|= 

к 

= 10 

о. ванны — мнения 
г 3. 


Количество пользователей, тыс. 


Больше пользователей -+ дольше обновление и восстановление после аварии. 
Приемлемым считаем время простоя системы не более 3-х минут. 


ее 


ПОВЕДЕНИЕ КЛАСТЕРА МЕМ РАМ УБтесн 


ОЖИДАНИЕ 


ПОВЕДЕНИЕ КЛАСТЕРА МЕМ РАМ УБтесн 


ОЖИДАНИЕ 


ПОВЕДЕНИЕ КЛАСТЕРА1МЕИМ!5РАМ 


ОЖИДАНИЕ 


ВОР 


РЕ Тесв 


ПОВЕДЕНИЕ КЛАСТЕРА МЕМ РАМ УБтесн 


ОЖИДАНИЕ 


ПОВЕДЕНИЕ КЛАСТЕРА1МЕИМ!5РАМ 


ВОР 


РЕ Тесв 


ПОВЕДЕНИЕ КЛАСТЕРА МЕМ РАМ УБтесн 


ВОР 


ПОЧЕМУ НАМ НЕЛЬЗЯ ТЕРЯТЬ СЕССИИ? Фтесн 


53 
Нет сети 5001 Каждая авария или обновление с потерей 
и“ сессий оборачивается для пользователей 


разлогином на кассе 


СФ 


ПРИЧИНА МЕДЛЕННОЙ ИНИЦИАЛИЗАЦИИ —Фтесн 
КЕУСЕОАК 


ГОДЫ МС... 


Каждый раз при загрузке происходит прогрев кэша в шИЯп!$рап 
из Розегез — перенос всех сессий из Роогез в кластер пИпзрап 


Ал 


ПРИЧИНА МЕДЛЕННОЙ ИНИЦИАЛИЗАЦИИ —Фтесн 
КЕУС-ОАК и 


Т\МЕОУТ 


@2 


-ИМЕОЧТ ТИМЕОЧТ 


ГОДЫ МС... 


ИМЕНМ$РАМ Ш РОЗТСВЕ$ 


Каждый раз при загрузке происходит прогрев кэша в шИЯп!$рап 
из Розегез — перенос всех сессий из Роогез в кластер пИпзрап 


42 


РЕКОМЕНДАЦИИ ОТ вт" о аВЫ ЦОД х5 ТесН 
[оаа Ба!апсег 


“ и 


Кеусоак си$ег Кеусоак си$ег 


Ваабазе Даабазе 


Сто$$-Баасещег 


НИ 
Оа{асещег (5{е1) вы Оа{асещег (51е2) 


В теории пйтзрап можно вынести в отдельный кластер от КеусоаКк 
ДЗ 


ПРАКТИЧЕСКАЯ ПРОВЕРКА РЕКОМЕНДАЦИЙ ОТ КЕУСЕОАК т 


[оаа Ба!апсег 


Кеусоак си$ег Кеусоак си$ег 


Байабазе о? Оа{аразе 
МНЕ ВИ `` соеврщесете № а 
Оа{асещег (${е1) Верйсайоп Оа{асещег (51е2) 


В реальности пИ!тзрап вынести в отдельный кластер проблематично 


4 


ВЫВОД ПО РЕЗУЛЬТАТУ ПРОВЕРКИ РЕКОМЕНДАЦИЙ ОТКЕМСЬОАК 5 тес: 


Гоаа Ба!апсег 


пни" 


Кеусоак си$ег 


Кеусоак си ег 


эЕЕЛЬ „СЕЛ, „ГНАРгожу] 
РоЗ1огез 1 || Роз юге 2 | Раноп Сизег РоЗогез$ 3 
"оу В о цод2 


пНорап все же остался внутри Кеусоак 


—------------------------------------------% 


ра 
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РЕ Тесв 


БЫСТРОЕ РЕШЕНИЕ 


КЭШИ КЕУСЁЕОАК. Убтесн 
КАК ПРЕДСТАВЛЕНЫ В МЕМ$РАМ 


Тип (шИп!рап) Госа! Верйсакеа Оз Би4еа 
Репликация Нет Да Да 
(на каждой ноде) 
Представители геа!гп, спеп\, го, М/ОГК юсшпРаНугеЕ$, 
изег апа пщадака асНопТокеп$, 
*5е$$01$5, 


ОНтеЦзег$е$юп$ 


Ограничен Да Нет 
в размере 

Вайп без ._ Да Да 
последствий 


Данные в преведенной таблице отражают картину настройки кэшей по умолчанию 
д7 


Настройка ОТте{зегЗезюпз 
шмЯпрап 


о саспеО\м/тегз (2)* 


* В скобочках приведены значения параметров по умолчанию 


РЕ ТесВ 


дз 


Настройка ОТте{зегЗезюпз 5 тесн 
шмЯпрап 


о саспеО\м/тегз (2)* 


Розтогез 
о МАХ РООЁ ЗЕ 


о СКЕАТЕ 1МОЕХ 
зез$юпз рег зеатепи ... 
(сгежеа оп, оте Над, 
изег зе юп 19) 


* В скобочках приведены значения параметров по умолчанию 
д9 


Настройка ОМтезегЗе Зюпз 5 тесн 
шпЯит5рап КеусоаКк 


о саспеО\упегз (2)* о |2055$.аз.тападетейт.Бюосктоа{теоц 
(300 секунд) 


е сеззчопзРегедетей“ (-500) 


Роз{агез 
о МАХ РООЁ Е 


в СКЕАТЕ 1МОЕХ 
зез$юпз рег зеатепи ... 
(сгежеа оп, оте Над, 
изег зе юп 19) 


* В скобочках приведены значения параметров по умолчанию 


50 


Настройка ОМтезегЗе Зюпз 5 тесн 
шпЯит5рап КеусоаКк 


о саспеО\упегз (2)* о |205$.аз.тападетет.Бюосктоа{теоц 
(300 секунд) 


е сесззчопзРегедетей“ (-500) 


Розтаге$ Кибеге*е$ 
в МАХ РОО ЗЕ о герсаз 


в СКЕАТЕ 1ИМОЕХ 
зез$юпз рег зеатепи ... 
(сгежеа оп, оте Над, 
изег зе юп 19) 


* В скобочках приведены значения параметров по умолчанию 


51 


НЕ РЕШАЕМ ПРОБЛЕМУ, А ОТКЛАДЬВАЕМ ЕЕ У5тесн 


50 
40 


30 


Время простоя, мин. 
5%) 
о 


Количество пользователей, млн. 


Результат: 
Добились даунтайма для ЗОО ООО пользователей в 3 минуты! 
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НЕ РЕШАЕМ ПРОБЛЕМУ, А ОТКЛАДЬВАЕМ ЕЕ У5тесн 


50 

= 40 

> 

— 

[®) 

| 

о 

©) 

о. 

Е 

[м 

> 

[6] 

о. 

Ой 

Количество пользователей, млн. 

Результат: 


Добились даунтайма для ЗОО ООО пользователей в 3 минуты! 
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НЕ РЕШАЕМ ПРОБЛЕМУ, А ОТКЛАДЬВАЕМ ЕЕ У5тесн 


50 

= 40 

> 

— 

[®) 

| 

о 

©) 

о. 

Е 

[м 

> 

[6] 

о. 

Ой 

0,50 0,75 1,00 1.25 1,50 
Количество пользователей, млн. 

Результат: 


Добились даунтайма для ЗОО ООО пользователей в 3 минуты! 
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НЕ РЕШАЕМ ПРОБЛЕМУ, А ОТКЛАДЬВАЕМ ЕЕ У5тесн 


50 

т: 

> 

> 

— 

[®) 

| 

о 

©) 

о. 

Е 

[м 

> 

[6] 

о. 

Ой 

0,50 0,75 1,00 1.25 1,50 
Количество пользователей, млн. 

Результат: 


Добились даунтайма для ЗОО ООО пользователей в 3 минуты! 
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РЕ Тесв 


ПЕРВЫЙ 


ТО0О ООО 


ПОЛЬЗОВАТЕЛЕЙ 


ОЖИДАНИЕ И РЕАЛЬНОСТЬ УБтесн 
ПО УВЕЛИЧЕНИЮ НАГРУЗКИ 


Как предполагался рост количества 
подключаемых к решению клиентов 


1000 + 


750 - 


Пользователи, тыс. 


Кварталы 


37 


ОЖИДАНИЕ И РЕАЛЬНОСТЬ УБтесн 
ПО УВЕЛИЧЕНИЮ НАГРУЗКИ 


Как предполагался рост количества 
подключаемых к решению клиентов 


1000 + 


750 - 


Пользователи, тыс. 


Кварталы 


‚ Реальный прирост клиентов 


1000 


и ь 
и 


750 


Пользователи, тыс. 


Кварталы 
58 


ОТЗЫВЫ . 
ПОЛЬЗОВАТЕЛЕЙ 
УХУДШАЮТСЯ 


ворЧИТ ОЧЕРЕЛЬ 


РАЗЛОГИНИЛОСЬ 


ВЗБЕСИВШИЕСЯ 
ПРИЛОЖЕНИЕ 


СИТУАЦИЯ СТРЕС с 


< 4% Перекресток дост... 4,4* 


Оценки и отзывы 


© тех 


* 13.10.2020 


Здравствуйте. Оставляю жалобу. 
В магазине набрал много товаров 
с ценой по карте, на кассе 
выясняется, что приложение 
разлогинилось! Мало того, вхожу 
по телефону и нет ни моей карты, 
ни баллов! Предлагает выпустить 
новую или зарегистрировать 
пластиковую. За мной ворчит 
‚ель, я вожусь с вашим 
взоесившимся прилож ‚нием, ведь 
не хочется переплачивать в 2-3 
раза. В итоге пришлось отменять 
несколько товаров. Это была 


ми лаз , ТРЕ 


ессовая 
стрессова 


РЕ Тесв 
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ПОИСК НАДЕЖНОГО РЕШЕНИЯ УБтТесн 


Поднятие Использование 
версии подхода из более 
Почему нельзя свежей версии КС (12) 


просто обновиться Доработка 10 установленной 
версии в ХЪ 
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РЕ Тесв 


ОТЧАЯННЫЙ ФОРК 


ИМПЛЕМЕНТАЦИЯ РЕ-СООБЩЕСТВА УБтесн 
ДЛЯ КС12 В КС1О 


КЕУСГОАК-11019 шша! ры Гог [агу о те изег-е оп Вы #7722 


11 Сю5еа МЧЗЩЕЕЗЕЙ п ммап 30 тегде 6 сотитИ$ {0 Кеус1оаК:тазег Фтогп +потазЧаг3топ{:1 /КЕУСТОАК-11019-1агу-0++11пе-5е5$1оп- 318 (0 


За основу взято решение для Кеусоак 12, несовместимое с 10-й версией 
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ИМПЛЕМЕНТАЦИЯ РК- СООБЩЕСТВА 5 Теск 
ДЛЯ КС12 В КС1О 


Изменение функций по получению сессий из тИп!5рап 
э пИпбрапОзег5езопРгомаегиде Узегеюг(...) 


ео #9езег5езюпс(...) 
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ИМПЛЕМЕНТАЦИЯ РК- СООБЩЕСТВА 5 Теск 
ДЛЯ КС12 В КС1О 


Изменение функций по получению сессий из тИп!5рап 
э пИпбрапОзег5езопРгомаегиде Узегеюг(...) 


ео #9езег5езюпс(...) 


Изменение логики функции инициализации 
сессий при старте 
э пИпрапзегзезопРгомаегЕацюгуоааРег ег 5е  $юп$ 
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ИМПЛЕМЕНТАЦИЯ РК- СООБЩЕСТВА 5 Теск 
ДЛЯ КС12 В КС1О 


Изменение функций по получению сессий из тИп!5рап 
э пИпбрапОзег5езопРгомаегиде Узегеюг(...) 


ео #9езег5езюпс(...) 


—) Изменение логики функции инициализации 


сессий при старте 
е пИпрапзегзезопРгомаегЕацогуоааРег ет $е  $юп$ 


Расширение классов работы с БД 
о ура Узег5зеззюпРегяз<егРгомаег 


о ОзегбеззопРгеасае 
55 


ОТКОРОБОЧНОГО 
РЕШЕНИЯ В ОПАСНЫЕ ВОДЫ 


Что получаем? 


Условно стабильное 
решение с быстрым стартом 


Теряем поддержку 
со стороны сообщества 


Приобретаем свои 
уникальные ошибки 


Прощаемся с обновлениями 
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РЕ Тесв 


ПУТЬ ДЖЕДАЯ 


РЕШЕНИЕ 
Повышаем версию 


16+ лучше, чем в 144 версии 


#7] Покрываем решение тестами 
Без своих провайдеров не обойтись 


Не храним пользователей в БД Кеусоак 


Стратегически разделяем идентификацию 
и аутентификацию в разных системах 


®] Проектируем архитектуру, следуем стандартам 
Надежные алгоритмы - гарант безопасности 


| тераск: Становитесь контрибьютором КС :) 
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Отказоустойчивая ат 5 теск 
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Раной! си$ег 
Пони 
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ВЫВОДЫ 5 Тесв 


Писать с нуля сервер 
аутентификации долго и сложно 


550 — это удобно 


Эксперименты — хорошо, 

но в меру, когда речь идет 

о решении на многомиллионную 
аудиторию 


Техническую документацию 
пишут люди. Доверяй, 
но проверяй 


и 


Обратная связь 
комментарии _ 
о докладу по ссылке 
| | | | | __ 


° Контакты Теедгат: 
Ирина Блажина @А_В!аг 
| И колай ще: @оцьи$ 


